[レポート] How to analyze Amazon CloudFront logs using generative AI に参加しました #CDN304 #AWSreInvent

概要

Gain critical insights for optimizing the performance of your web application with Amazon CloudFront logs using Amazon Bedrock. In this builders’ session, learn why analyzing and monitoring logs is essential for detecting anomalies, enhancing reliability, and improving site performance. Whether you’re an SRE focused on fine-tuning performance or a CTO ensuring a robust infrastructure, discover how AI-powered log analysis empowers proactive decision-making. Find out how to harness the power of Amazon CloudFront data for actionable intelligence and to drive your application’s success.

以下、翻訳です。

Amazon Bedrockを使用して Amazon CloudFrontログでウェブアプリケーションのパフォーマンスを最適化するための重要な洞察を得られます。このビルダーセッションでは、ログの分析と監視が異常の検出、信頼性の向上、サイトのパフォーマンスの改善に不可欠である理由を学びます。パフォーマンスの微調整に重点を置く SREであっても、堅牢なインフラストラクチャを確保する CTOであっても、AIを活用したログ分析がプロアクティブな意思決定にどのように役立つかをご覧ください。Amazon CloudFrontデータのパワーを活用して実用的なインテリジェンスを実現し、アプリケーションの成功を促進する方法を学びます。

Agenda

1. Amazon CloudFront observability options
2. Challenges with existing log analysis tools and techniques
3. The potential of Generative AI in log analysis
4. Demo: Using Amazon Bedrock to analyze Amazon CloudFront logs
5. Workshop walkthrough

アジェンダは上記になります。ワークショップに行く前にCloudFrontの可観測性オプション、既存のログ分析ツールや方法の課題、ログ分析におけるGenAIの可能性についてプレゼンがありました。

CloudFrontの可観測性オプション

オプションとして、CloudWatch Metrics ,Access Logs - Real Time, Access Logs - Standard があります。

ユースケース

• CloudWatch Metrics
  シンプルダッシュボード、モニタリング。
  4xx/5xxエラーをアラーム

• Access Logs - Real Time
  リアルタイム、カスタムダッシュボード、トラブルシューティング、クリックストリーム、トラッキング

• Access Logs - Standard
  アドホック分析、トラブルシューティング

既存のログ分析ツールや方法の課題

• ログデータの複雑さ、ボリューム、速度
• コンテキストに基づく洞察とルールベースのダッシュボードが不十分
• 統合の課題とリソース集約プロセッシング
• マニュアルによるエキスパートへの依存
• 異常検出と予測的インサイトの欠如

ログ分析におけるGenAIの可能性

• 自然言語処理
• 自動化されたパターン認識と異常検知
• 自動分析と要約
• スケーラビリティ、効率性、コスト削減
• リアルタイムかつ予測的な洞察とアラート

Workshop walkthrough

ワークショップのモジュールです。

• シナリオ1 - ログを要約する
• シナリオ2 - 異常の検出
• シナリオ3 - 予測的洞察の生成
• シナリオ4 - 根本原因分析の実行
• シナリオ5 - トレンドの特定
• シナリオ6 - プロアクティブに監視する

生成AIの力を活用して、ログデータの詳細な分析を行う方法を学びます。

構成は以下となります。自然言語クエリを通じて生成AIを使用してAmazon CloudFrontのログを分析します。

• Amazon S3 with Amazon CloudFront

  • アプリケーションのフロント、アクセスリクエストに関するログがAmazon S3に保存されます。

• Amazon Athena

  • S3に保存されたデータを標準SQLで分析。
  • Lambdaから受信したSQLクエリを実行し、CloudFrontログからデータを取得。

• AWS Lambda

  • Bedrock LLMから受信したSQLクエリをAmazon Athenaに送信。
  • Athenaの処理結果を受け取り、分析結果を返却。

• Amazon Bedrock Action Group

  • SQLクエリとデータスキーマ情報をAWS Lambdaに送信。
  • S3からデータスキーマを取得（CloudFrontログの構造を定義）。
  • SQLクエリとスキーマ情報をLambdaに転送。

• Amazon Bedrock Agent

  • Streamlitから送信される自然言語クエリを受信。
  • クエリをAmazon Bedrock Large Language Model (LLM) に送信。

• Amazon Bedrock LLM

  • クエリ処理の中心部分。
  • 自然言語クエリを解釈して対応するSQLクエリを生成。
  • ユーザーのリクエストに基づき、CloudFrontログから必要な情報を取得するためのSQLクエリを作成。

• Amazon EC2

  • Streamlitアプリケーションをホスティング。
  • ユーザーが自然言語クエリを入力するための直感的で使いやすいWebインターフェイスを提供。

まず、環境を構築しました。

Amazon Bedrockコンソールから、モデルへのアクセスを有効にします。今回は Claude 3 Sonnet を選びました。

そのほか、環境構築は、CloudFormationで準備されており、Outputs から必要な情報を確認します。

StreamlitアプリケーションにアクセスするためのEC2 Security Groupに自分のIPを設定します。

IPの確認は以下サイトを使いました。
https://www.ipchicken.com/ or https://whatismyipaddress.com/

EC2インスタンスにアクセスし、Streamlit Application をスタートします。

Streamlitアプリケーションにアクセスします。

Webインターフェイスにアクセスしたら、早速、プロンプトを入力してみます。

シナリオ1のログ要約するをやってみました。

Provide a comprehensive monthly summary of CloudFront performance metrics from July to November 2024. Include average response times, cache hit rates, error rates, and total bandwidth usage for each month. Highlight any significant month-to-month changes.	

翻訳

2024年7月から11月までのCloudFrontのパフォーマンス指標について、包括的な月次サマリーを作成してください。各月の平均応答時間、キャッシュヒット率、エラー率、総帯域幅使用量を含めてください。また、月ごとの大きな変化があれば強調してください。

プロンプトを入力し、Submit を押します。しばらくすると結果が返ってきました。

膨大な量のログデータを扱うのは大変な作業ですが、AIを活用することで大量のログデータを簡潔で分かりやすく要約することができました。AIが重要なインサイトや、要点をまとめてくれるので、意思決定に必要な本質的な情報を素早く把握できます。これにより時間とリソースを大幅に節約することができます。

まとめ

すべてのシナリオを試してみる時間はなかったのですがAmazon Bedrockを使用してAmazon CloudFrontのログを分析するプロセスを体験することができました。